ナイーブベイズクラス分類器(Naive Bayes Classifier)
Overview
ナイーブベイズクラス分類器は、ロジスティック回帰などの線形モデルによく似たクラス分類器の一種です。学習が線形モデルよりもさらに高速なのが特徴です。その速度の代償として、ナイーブベイズモデルの汎化性能は、線形モデルよりもわずかに劣る場合が多いです。主に、ガウシアンナイーブベイズ、ベルヌーイナイーブベイズ、多項ナイーブベイズがあります。
Theory
ナイーブベイズが高速なのは、クラスに対する統計値を個々の特徴量ごとに集めて、パラメータを学習するためです。ガウシアンNBは、任意の連続値データに適用できますが、ベルヌーイNBは、2値データを仮定しており、多項NBは、カウントデータ(単語の出現数など)を仮定しています。ベルヌーイNBや多項NBはほとんどの場合データのクラス分類に用いられます。
ガウシアン分布
$ p(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}exp^{-\frac{(x - \mu)^2}{2\sigma^2}} (平均:$ \mu, 分散:$ \sigma^2)
ベルヌーイ分布
$ p(x;q) = q^x(1 - q)^{1 - x}
Summary
Merit
学習が非常に高速
Demerit
性能が少し劣る
Parameters
alpha
大きくなると、モデルの複雑さは減少する